Từ năm 1938 các nhóm âm mưu lật đổ chính phủ Nazi đã hình thành bí mật trong hàng ngũ sĩ quan lục quân và tình báo Đức. Những lãnh tụ âm mưu đầu tiên gồm có Hans Oster (thiếu tướng chỉ huy phó phòng tình báo quân sự), Ludwig Beck (cựu tổng tư lệnh lục quân) và Erwin von Witzleben (thống chế cựu chỉ huy trưởng Tập đoàn quân 1 và tư lệnh tham mưu quân đội phía tây OB West).

Các nhóm âm mưu liên lạc nhau, nối kết với thường dân, học giả và chính trị gia trong vòng bí mật gọi là Kreisauer Kreis (vòng Kreisau) thường họp mật tại biệt thự của Helmuth von Moltke tại khu Kreisau, thuộc Krzyzowa, quận Swidnica. Moltke không đồng ý với âm mưu ám sát Hitler. Ông nói "chúng ta toàn là thứ tài tử không rành và sẽ làm hỏng chuyện". Ông muốn bắt và đem Hitler ra tòa xử tội. Ông cho việc giết Hitler là đạo đức giả. Hitler đem hệ thống hóa hành động sai trái, và nhóm phản kháng phải cố tránh làm chuyện sai trái.[3]

Kế hoạch đảo chính và ngăn chặn không để Hitler tấn công các nước láng giềng bắt đầu hình thành từ năm 1938-39 nhưng bị trì hoãn vì hai tướng Franz Halder và Walther von Brauchitsch do dự không nhất quyết và vì các thế lực Tây Âu cũng không lên tiếng phản đối việc Đức tấn công Ba Lan mạnh mẽ. Tiếp theo đó là cuộc tấn công vào Pháp thành công rực rỡ làm uy tín của Hitler tăng vọt. Do vậy nhóm âm mưu đảo chính phải đình hoãn kế hoạch.

Đến năm 1941 các sĩ quan Đức ngầm tạo một nhóm âm mưu đảo chính khác, cầm đầu là đại tá Henning von Tresckow một sĩ quan thuộc bộ chỉ huy của Fedor von Bock trong chiến dịch Barbarossa. Tresckow chiêu mộ thành viên đầu não của nhóm từ bộ chỉ huy này nhưng không làm gì được vì lực lượng bảo vệ Hitler quá dày đặc.[4]

Trong năm 1942 Oster và Tresckow thiết lập được một hệ thống móc nối nhóm sĩ quan đảo chính, trong đó có Friedrich Olbricht là tướng đứng đầu phòng tư lệnh chỉ huy lục quân trung ương tại Berlin. Olbricht kiểm soát các liên lạc độc lập giữa các đơn vị trừ bị của quân lực Đức Quốc xã. Liên kết giữa nhóm trung ương Olbricht và nhóm ngoại ứng Tresckow tạo một thế lực đảo chính với nhiều cơ hội thành công.[5]

Tháng 3 năm 1943 Tresckow và Olbricht cài bom vào máy bay của Hitler khi ông bay ra tham quan bộ chỉ huy Đức trong trận chiến tại Smolensk nhưng may cho Hitler là bom không nổ. Sau đó, âm mưu ám sát Hitler trong cuộc triển lãm vũ khí thu được từ quân Liên Xô tại Berlin cũng không thành công. Những thất bại này khiến các thành viên của nhóm đảo chính nản lòng.

Tresckow cố gắng chiêu dụ các tướng lãnh khác như các thống chế Erich von Manstein và Gerd von Rundstedt nhưng không thành công. Cấp trên của Tresckow là thống chế Günther von Kluge cũng được chiêu dụ nhưng ông này do dự không quyết đoán.[6]